depth-recurrent language model

ついにLLMを「潜在空間上」で推論スケーリングすることで性能を飛躍させる論文。この方向は性能は飛躍するが、AIが何を考えているかわからなくなるリスクがあり、最近出された脅威シナリオでは潜在空間上で推論を行うAGIが世界人口を1年で3%にまで減らす可能性がLesswrongで議論された。危機意識必要

> Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach

>

> We study a novel language model architecture

that is capable of scaling test-time computation by

>implicitly reasoning in latent space. Our model works by iterating a recurrent block, thereby unrolling…